Tvrđava Vranduk, Urušavanje